Miếu có một gian theo thể chế nhà đá. Cuộc khảo sát đầu tiên là của nhà Thanh năm 1909 do Ngô Kính Vinh dẫn đầu xác nhận: “Ở trên mỗi đảo Hoàng Sa đều có một ngôi miếu nhỏ xây kiểu nhà đá, tất cả tường mái là đá san hô và vỏ sò”[2][3]. Ba mặt miếu Hoàng Sa bên trái, bên phải và đằng sau đều trồng các loại cây do quân nhân đến đảo đem theo hạt giống gieo trồng như hạt quả thủy nam.[4]

Cửa vào miếu có khắc hai bên hai câu:Cô hồn miếu, cô hồn diễu diễu孤魂庙，孤魂渺渺； Hoàng sa tự, bích huyết Hoàng sa黄沙寺,碧血黄沙。 Phía trên là bức Hoành phi có ghi "海不扬波" "Hải bất dương ba" có nghĩa là "Biển không nổi sóng"

Trong miếu có ghi niên hiệu "大南皇帝 保大十四年三月初一"Đại Nam Hoàng Đế Bảo Đại thập tứ niên tam nguyệt sơ nhất" (ngày mồng 1 tháng 3 năm Bảo Đại 14).

Nếu căn cứ việc Vĩnh Thụy được tôn lên kế vị làm vua lấy niên hiệu Bảo Đại vào ngày 8 tháng 1 năm 1926, thì Hoàng sa tự có thể được trùng tu ngày mồng 1 tháng 3 năm Kỷ Mão (tức 20/04/1939[5]) sau khi bị bão làm sụp đổ chứ không phải Hoàng sa tự được xây vào ngày 01/03(Âm lịch)/1934 và sụp đổ vào năm 1939 như một số tài liệu Trung quốc đã ghi.

Sau khi Trung Quốc đổ quân chiếm đóng Phú Lâm, trong tạp chí "Lữ hành gia" quyển 6 xuất bản năm 1957 tại Bắc Kinh đã xác nhận niên đại trùng tu năm Bảo Đại 14 như trên.[6] Năm 1974, sau khi Trung Quốc đổ quân chiếm đóng toàn bộ quần đảo Hoàng Sa, nhà khảo cổ Trung Quốc Hàn Chấn Hoa và đồng nghiệp đến Hoàng Sa khảo sát, đã ghi nhận di tích của Hoàng Sa Tự (黄 砂 寺) trên đảo Phú Lâm[7].

Theo nhà nghiên cứu Nguyễn Nhã, Hoàng Sa Tự là "bằng chứng hiển nhiên vết tích của việc xác lập chủ quyền của Việt Nam" tại Hoàng Sa.[1]

Hoàng Sa tự tồn tại ít nhất đến năm 1957 nhưng ngày nay không còn nữa.